DTCA: Denoising Token Credit Assignment for Reinforcement Learning in Diffusion Language Models
DTCA：扩散语言模型强化学习的去噪 Token 信用分配
🧭 扩散语言模型 RL 训练 · 信用分配
Zhejiang University · National University of Singapore · SAP
提出 DTCA，按去噪 token 置信度增益估计贡献并分组，用于扩散语言模型 RL 的 token 级信用分配。
📌 工作参考价值（4 点）
- 面向文案/query 生成的 RL 训练：若用 RL 优化广告文案、搜索词或商品标题生成，稀疏 outcome reward 会导致 credit assignment 困难。可借鉴 DTCA 的 token 贡献估计，用生成过程中 token 置信度增益作为细粒度奖励塑形，加速收敛。
- 按语言单元分组校准信号：DTCA 按 POS 分组贡献。在电商场景中，可对商品标题/query 中的品牌词、类目词、属性词分别设定权重，让 RL 更关注关键信息 token，减少语义噪声干扰。
- 熵变化校准避免过优化：策略更新引起的 token 熵变化被用于校准学习信号。实际 RL 训练生成模型时，可监控 token 级熵，抑制高熵 token 的过大梯度，提升训练稳定性。
- 筛选 informative 去噪 timesteps：DTCA 选择关键去噪步骤参与 RL 训练。若业务中采用扩散或非自回归生成模型，可减少无效训练步，节省算力并提升信号质量。